我们展示了基本的头部动作单位被称为行为分析的Kinemes,以预测人格和面试特征。将头部运动模式转换为一系列型术语有助于发现表征目标性状的潜在时间签名,从而实现有效和可说明的特征预测。利用Kinemes和面部动作编码系统(FACS)特征来预测(a)在第一次印象上的海洋人格性状候选筛选视频中,(b)在MIT数据集上的面试特征,我们注意到:(1)长期用Kineme序列训练的内存(LSTM)网络表现优于或类似于用面部图像培训的卷积神经网络(CNN);(2)与Kinemes组合的FACS动作单位(AUS)组合实现了精确的预测和解释,并且(3)预测性能受到朝向头部和面部运动的时间长度的影响。
translated by 谷歌翻译
The presence of bias in deep models leads to unfair outcomes for certain demographic subgroups. Research in bias focuses primarily on facial recognition and attribute prediction with scarce emphasis on face detection. Existing studies consider face detection as binary classification into 'face' and 'non-face' classes. In this work, we investigate possible bias in the domain of face detection through facial region localization which is currently unexplored. Since facial region localization is an essential task for all face recognition pipelines, it is imperative to analyze the presence of such bias in popular deep models. Most existing face detection datasets lack suitable annotation for such analysis. Therefore, we web-curate the Fair Face Localization with Attributes (F2LA) dataset and manually annotate more than 10 attributes per face, including facial localization information. Utilizing the extensive annotations from F2LA, an experimental setup is designed to study the performance of four pre-trained face detectors. We observe (i) a high disparity in detection accuracies across gender and skin-tone, and (ii) interplay of confounding factors beyond demography. The F2LA data and associated annotations can be accessed at http://iab-rubric.org/index.php/F2LA.
translated by 谷歌翻译
生成流动网络(GFLOWNETS)是一种算法家族,用于训练在非均衡目标密度下离散对象的顺序采样器,并已成功用于各种概率建模任务。现有的Gflownets培训目标是国家本地的,或者是过渡的本地,或者在整个采样轨迹上传播奖励信号。我们认为,这些替代方案代表了梯度偏见变化权衡的相反目的,并提出了一种利用这种权衡以减轻其有害影响的方法。受到强化学习的TD($ \ lambda $)算法的启发,我们介绍了一个subtrajectory Balance或subtb($ \ lambda $),这是一个GFLOWNET培训目标,可以从不同长度的部分动作子序列中学习。我们表明,SubTB($ \ lambda $)会在先前研究和新环境中加速采样器的收敛,并在具有更长的动作序列和比以前的可能性更长的环境中培训Gflownets。我们还对随机梯度动力学进行了比较分析,阐明了GFLOWNET训练中的偏差变化权衡以及亚条件平衡的优势。
translated by 谷歌翻译
在计算机视觉领域,异常检测最近引起了越来越多的关注,这可能是由于其广泛的应用程序从工业生产线上的产品故障检测到视频监视中即将发生的事件检测到在医疗扫描中发现病变。不管域如何,通常将异常检测构架为一级分类任务,其中仅在正常示例上进行学习。整个成功的异常检测方法的家庭基于学习重建掩盖的正常输入(例如贴片,未来帧等),并将重建误差的幅度作为异常水平的指标。与其他基于重建的方法不同,我们提出了一种新颖的自我监督蒙面的卷积变压器块(SSMCTB),该卷积变压器块(SSMCTB)包括基于重建的功能在核心架构层面上。拟议的自我监督块非常灵活,可以在神经网络的任何层上掩盖信息,并与广泛的神经体系结构兼容。在这项工作中,我们扩展了以前的自我监督预测性卷积专注块(SSPCAB),并具有3D掩盖的卷积层,以及用于频道注意的变压器。此外,我们表明我们的块适用于更广泛的任务,在医学图像和热视频中添加异常检测到基于RGB图像和监视视频的先前考虑的任务。我们通过将SSMCTB的普遍性和灵活性整合到多个最先进的神经模型中,以进行异常检测,从而带来了经验结果,可以证实对五个基准的绩效改进:MVTEC AD,BRATS,BRATS,Avenue,Shanghaitech和Thermal和Thermal和Thermal罕见事件。我们在https://github.com/ristea/ssmctb上发布代码和数据作为开源。
translated by 谷歌翻译
DeepFake是指量身定制和合成生成的视频,这些视频现在普遍存在并大规模传播,威胁到在线可用信息的可信度。尽管现有的数据集包含不同类型的深击,但它们的生成技术各不相同,但它们并不考虑以“系统发育”方式进展。现有的深层面孔可能与另一个脸交换。可以多次执行面部交换过程,并且可以演变出最终的深层效果,以使DeepFake检测算法混淆。此外,许多数据库不提供应用的生成模型作为目标标签。模型归因通过提供有关所使用的生成模型的信息,有助于增强检测结果的解释性。为了使研究界能够解决这些问题,本文提出了Deephy,这是一种新型的DeepFake系统发育数据集,由使用三种不同的一代技术生成的5040个DeepFake视频组成。有840个曾经交换深击的视频,2520个换两次交换深击的视频和1680个换装深击的视频。使用超过30 GB的大小,使用1,352 GB累积内存的18 GPU在1100多个小时内准备了数据库。我们还使用六种DeepFake检测算法在Deephy数据集上展示了基准。结果突出了需要发展深击模型归因的研究,并将过程推广到各种深层生成技术上。该数据库可在以下网址获得:http://iab-rubric.org/deephy-database
translated by 谷歌翻译
神经网络(NNS)也很难有效地学习某些问题,例如奇偶校验问题,即使对于这些问题有简单的学习算法。NNS可以自己发现学习算法吗?我们展示了一个NN体系结构,在多项式时期,可以通过恒定尺寸的学习算法来学习以及任何有效的学习算法。例如,在奇偶校验问题上,NN学习和减少行,这是一种可以简单描述的有效算法。我们的体系结构结合了层和卷积重量共享之间的重复分享,即使网络本身可能具有数万亿个节点,也将参数数量降低到常数。在实践中,我们的分析中的常数太大而无法直接有意义,但我们的工作表明,经常性和卷积NNS(RCNN)的协同作用可能比单独的任何一个更强大。
translated by 谷歌翻译
当我们扩大数据集,模型尺寸和培训时间时,深入学习方法的能力中存在越来越多的经验证据。尽管有一些关于这些资源如何调节统计能力的说法,但对它们对模型培训的计算问题的影响知之甚少。这项工作通过学习$ k $ -sparse $ n $ bits的镜头进行了探索,这是一个构成理论计算障碍的规范性问题。在这种情况下,我们发现神经网络在扩大数据集大小和运行时间时会表现出令人惊讶的相变。特别是,我们从经验上证明,通过标准培训,各种体系结构以$ n^{o(k)} $示例学习稀疏的平等,而损失(和错误)曲线在$ n^{o(k)}后突然下降。 $迭代。这些积极的结果几乎匹配已知的SQ下限,即使没有明确的稀疏性先验。我们通过理论分析阐明了这些现象的机制:我们发现性能的相变不到SGD“在黑暗中绊倒”,直到它找到了隐藏的特征集(自然算法也以$ n^中的方式运行{o(k)} $ time);取而代之的是,我们表明SGD逐渐扩大了人口梯度的傅立叶差距。
translated by 谷歌翻译
尽管已经提出了几种方法来实现领域泛化的艰巨任务,但了解使这项任务挑战的原因很少受到关注。在这里,我们提出semanticdg(语义域概括):具有15个具有相同几何形状,场景布局和摄像机参数与流行的3D Scannet数据集的基准标准,但具有照明,材料和视图点的控制域移动。使用此基准,我们独立研究了这些语义转变对概括的影响。视觉识别模型很容易推广到新颖的照明,但与材料和观点的分配变化斗争。受到人类视野的启发,我们假设场景上下文可以作为桥梁,以帮助模型跨越材料和观点域的转移,并提出上下文感知的视觉变压器,以及对材料和观点变化的对比损失,以解决这些域的变化。我们的方法(称为CDCNET)的表现优于现有域的概括方法,超过18%。作为关键的基准,我们还进行心理物理学实验,发现人类在照明,材料和观点上同样概括地概括了。此处介绍的基准和计算模型有助于了解与跨域的概括相关的挑战,并提供了向语义分布转移推断的初始步骤。我们在补充中包括所有数据和源代码。
translated by 谷歌翻译
已显示现有的面部分析系统对某些人口统计亚组产生偏见的结果。由于其对社会的影响,因此必须确保这些系统不会根据个人的性别,身份或肤色歧视。这导致了在AI系统中识别和减轻偏差的研究。在本文中,我们封装了面部分析的偏置检测/估计和缓解算法。我们的主要贡献包括对拟议理解偏见的算法的系统审查,以及分类和广泛概述现有的偏置缓解算法。我们还讨论了偏见面部分析领域的开放挑战。
translated by 谷歌翻译
图形神经网络(GNNS)是一种用于建模图形结构化数据的流行技术,该数据通过来自每个节点的本地邻域的信息聚合来计算节点级表示的结构。然而,该聚合意味着增加敏感信息的风险,因为节点可以参与多个节点的推断。这意味着标准隐私保存机器学习技术,例如差异私有随机梯度下降(DP-SGD) - 这被设计用于每个数据点仅参与推理的一个点的情况 - 要么不适用,或导致不准确解决方案。在这项工作中,我们正式定义了使用节点级别隐私学习1层GNN的问题,并提供具有强大差异隐私保证的算法解决方案。即使每个节点都可以参与多个节点的推断,通过采用仔细的敏感性分析和逐个放大技术的非琐碎扩展,我们的方法能够提供具有实心隐私参数的准确解决方案。标准基准测试的实证评估表明,我们的方法确实能够学习准确的隐私保留GNN,同时仍然优于完全忽略图形信息的标准非私有方法。
translated by 谷歌翻译